En el ámbito de la Inteligencia Artificial, el modelado de secuencias desplaza el enfoque de las instantáneas estáticas hacia flujos temporales. Las tareas estándar de aprendizaje automático suelen asumir que los puntos de datos son Independientes e Idénticamente Distribuidos (IID), lo que significa que el orden de las muestras no influye en el resultado.

El modelado de secuencias rechaza explícitamente esta idea, centrándose en tres pilares fundamentales:

• Violación de la Invariancia de Permutación: En los datos tabulares, el orden de las columnas es arbitrario. En las secuencias, el orden es la característica principal. Intercambiar "El gato se comió a la rata" por "La rata se comió al gato" cambia fundamentalmente la verdad fundamental semántica a pesar de que los tokens son idénticos.
• Propiedades Autorregresivas: Asumimos que una observación en el tiempo $t$ está matemáticamente condicionada a su historial ($t-1, t-2, \dots, 1$). Esto requiere probabilidades de transición para capturar cómo evoluciona la información.
• Mapeo de Longitud Variable: A diferencia de las cuadrículas fijas de 28x28 píxeles, las secuencias como frases u ondas sísmicas son elásticas. Los modelos deben procesar entradas de longitud $N$ y producir salidas de longitud $M$ utilizando parámetros consistentes.